机器学习算法实战案例：CNN-LSTM实现多变量多步光伏预测

1 数据处理

1.1 导入库文件

from matplotlib import pyplot as plt

import tensorflow as tf    

from tensorflow import keras 

from tensorflow.keras import Sequential, layers, callbacks

from tensorflow.keras.layers import Input, Reshape,Conv2D, MaxPooling2D, LSTM, Dense, Dropout, Flatten, Reshape

from sklearn.preprocessing import MinMaxScaler

from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error, mean_absolute_percentage_error 

warnings.filterwarnings('ignore')  

plt.rcParams['font.sans-serif'] = ['SimHei']     # 显示中文

plt.rcParams['axes.unicode_minus'] = False  # 显示负号

plt.rcParams.update({'font.size':18})  #统一字体字号

1.2 导入数据集

实验数据集采用数据集6：澳大利亚电力负荷与价格预测数据，数据集包括包括数据集包括日期、小时、干球温度、露点温度、湿球温度、湿度、电价、电力负荷特征，时间间隔30min。选取两年的数据进行实验，对数据进行可视化：

from itertools import cycle

def visualize_data(data, row, col):

    cycol = cycle('bgrcmk')

    cols = list(data.columns)

    fig, axes = plt.subplots(row, col, figsize=(16, 4))

    if row == 1 and col == 1:  # 处理只有1行1列的情况

        axes = [axes]  # 转换为列表，方便统一处理

    for i, ax in enumerate(axes.flat):

        if i < len(cols):

            ax.plot(data.iloc[:,i], c=next(cycol))

            ax.set_title(cols[i])

            ax.axis('off')  # 如果数据列数小于子图数量，关闭多余的子图

    plt.subplots_adjust(hspace=0.6)

visualize_data(data_raw.iloc[:,2:], 2, 3)

​​

​单独查看部分功率数据，发现有较强的规律性。

​​

1.3 缺失值分析

首先查看数据的信息，发现并没有缺失值

​​进一步统计缺失值，通过统计数据可以看到，数据比较完整，不存在缺失值。其他异常值和数据处理。

data_raw.isnull().sum()

2 构造训练数据

选取数据集，去掉时间特征

data = data_raw.iloc[:,2:].values

构造训练数据，也是真正预测未来的关键。首先设置预测的timesteps时间步、predict_steps预测的步长（预测的步长应该比总的预测步长小），length总的预测步长，参数可以根据需要更改。

通过前5天的timesteps个数据预测后一天的predict_steps个数据，需要对数据集进行滚动划分（也就是前timesteps行的特征和后predict_steps行的标签训练，后面预测时就可通过timesteps行特征预测未来的predict_steps个标签）。因为是多变量，特征和标签分开划分。

​​数据处理前，需要对数据进行归一化，按照上面的方法划分数据，这里返回划分的数据和归一化模型，因为是多变量，特征和标签分开归一化，不然后面归一化会有信息泄露的问题。函数的定义如下：

def data_scaler(datax, datay=None, timesteps=36, predict_steps=6):

    scaler1 = MinMaxScaler(feature_range=(0, 1))   

    datax = scaler1.fit_transform(datax)

    # 用前面的数据进行训练，留最后的数据进行预测

    if datay is not None:

        scaler2 = MinMaxScaler(feature_range=(0, 1))

        datay = scaler2.fit_transform(datay)

        trainx, trainy = create_dataset(datax, datay, timesteps, predict_steps)

        trainx = np.array(trainx)

        trainy = np.array(trainy)

        return trainx, trainy, scaler1, scaler2

        trainx, trainy = create_dataset(datax, timesteps=timesteps, predict_size=predict_steps)

        trainx = np.array(trainx)

        trainy = np.array(trainy)

        return trainx, trainy, scaler1, None

然后对数据按照上面的函数进行划分和归一化。通过前5天的96*5数据预测后一天的96个数据，需要对数据集进行滚动划分（也就是前96*5行的特征和后96行的标签训练，后面预测时就可通过96*5行特征预测未来的96个标签）

​3 模型训练

3.1 CNN-LSTM网络

CNN-LSTM 是一种结合了 CNN 特征提取能力与 LSTM 对时间序列长期记忆能力的混合神经网络。

CNN 主要由四个层级组成， 分别为输入层、 卷积层、 激活层（Relu 函数）和池化层。 每一层都会将数据处理之后送到下一层， 其中最重要的是卷积层， 这个层级起到的作用是将特征数据进行卷积计算， 将计算好的结果传到激活层， 激活函数对数据进行筛选。最后一层是 LSTM 层， 这一层是根据 CNN 处理后的特征数据，对其模型进行进一步的维度修偏， 权重修正等工作， 为下一步输出精度较高的预测值做好准备， 在 LSTM 训练的过程中， 由于其神经网络内部包括了输入、 遗忘和输出门， 通常的做法是通过增减遗忘门和输入门的个数， 来控制算法的精度。

来源：基于改进的 CNN-LSTM 短期风功率预测方法研究

对于输入到 CNN-LSTM 的数据，首先，经过 CNN 的卷积层对局部特征进行提取，将提取后的特征向量传递到池化层进行特征向量的下采样和数据体量的压缩。然后，将经过卷积层和池化层处理后的特征向量经过一个扁平层转化成一维向量输入到 LSTM 中， 每一层 LSTM 后加一个随机失活层以防止模型过拟合。

3.2 模型训练

首先搭建模型的常规操作，然后使用训练数据trainx和trainy进行训练，进行50个epochs的训练，每个batch包含64个样本。此时input_shape划分数据集时每个x的形状。（建议使用GPU进行训练，因为本人电脑性能有限，建议增加epochs值）

def CNN_LSTM_model_train(trainx, trainy, timesteps, feature_num, predict_steps):

    gpus = tf.config.experimental.list_physical_devices(device_type='GPU')

        tf.config.experimental.set_memory_growth(gpu, True)

    start_time = datetime.datetime.now()

    model.add(Input((timesteps, feature_num)))

    model.add(Conv2D(filters=64,

                    kernel_size=3,

                    strides=1,

                    padding="same",

                    activation="relu"))

    model.add(MaxPooling2D(pool_size=2, strides=1, padding="same"))

    model.add(Dropout(0.3))

    model.add(Reshape((timesteps, -1)))

    model.add(LSTM(128, return_sequences=True, dropout=0.2))  # 添加dropout层

    model.add(LSTM(64, return_sequences=False, dropout=0.2))  # 添加dropout层

    model.add(Dense(64, activation="relu"))  # 增加Dense层节点数量

    model.add(Dense(predict_steps))

    model.fit(trainx, trainy, epochs=50, batch_size=128)

    end_time = datetime.datetime.now()

    running_time = end_time - start_time

    model.save('CNN_LSTM_model.h5')

对划分的数据进行训练

model = CNN_LSTM_model_train(trainx, trainy, timesteps, feature_num, predict_steps)

4 模型预测

首先加载训练好后的模型

from tensorflow.keras.models import load_model

model = load_model('BiLSTM_model.h5')

准备好需要预测的数据，训练时保留了6天的数据，将前5天的数据作为输入预测，将预测的结果和最后一天的真实值进行比较。

y_true = datay[-timesteps-predict_steps:-timesteps]

x_pred = datax[-timesteps:]

预测并计算误差，并进行可视化，将这些步骤封装为函数。​​​​​​​

def predict_and_plot(x, y_true, model, scaler, timesteps):

    predict_x = np.reshape(x, (1, timesteps, feature_num))  

    predict_y = model.predict(predict_x)

    predict_y = scaler.inverse_transform(predict_y)

    y_predict.extend(predict_y[0])

    r2 = r2_score(y_true, y_predict)

    rmse = mean_squared_error(y_true, y_predict, squared=False)

    mae = mean_absolute_error(y_true, y_predict)

    mape = mean_absolute_percentage_error(y_true, y_predict)

    print("r2: %.2f\nrmse: %.2f\nmae: %.2f\nmape: %.2f" % (r2, rmse, mae, mape))

    cycol = cycle('bgrcmk')

    plt.figure(dpi=100, figsize=(14, 5))

    plt.plot(y_true, c=next(cycol), markevery=5)

    plt.plot(y_predict, c=next(cycol), markevery=5)

    plt.legend(['y_true', 'y_predict'])

y_predict = predict_and_plot(x_pred, y_true, model, scaler2, timesteps)

最后得到可视化结果和计算的误差，可以通过调参和数据处理进一步提升模型预测效果。

• r2: 0.19
• ​​rmse: 725.34
• mae: 640.73
• mape: 0.08

答疑&技术交流

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

本文完整代码、相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

​方式①、微信搜索公众号：Python学习与数据挖掘，后台回复：加群
方式②、添加微信号：dkl88194，备注：来自CSDN + 技术交流

机器学习算法实战案例系列

• 机器学习算法实战案例：确实可以封神了，时间序列预测算法最全总结！

• 机器学习算法实战案例：时间序列数据最全的预处理方法总结

• 机器学习算法实战案例：GRU 实现多变量多步光伏预测

• 机器学习算法实战案例：LSTM实现单变量滚动风电预测

• 机器学习算法实战案例：LSTM实现多变量多步负荷预测