Python 语音识别系列-实战学习-语音识别特征提取

前言

语音识别特征提取是语音处理中的一个重要环节，其主要任务是将连续的时域语音信号转换为连续的特征向量，以便于后续的语音识别和语音处理任务。在特征提取阶段，这些特征向量能够捕捉到语音信号中的关键信息，如音调、音色和音节等。

特征提取主要可以分为以下几个方面：

• 时域特征提取：包括自相关函数、方差、峰值等。
• 频域特征提取：如傅里叶变换、快速傅里叶变换、波束傅里叶变换等。
• 时频域特征提取：包括短时傅里叶变换、波形分解、时频图等。
• 高级特征提取：涉及语言模型、语音模型、语音合成等。

在具体实践中，语音特征提取的方法和技术，如：

1. 梅尔频率倒谱系数 (MFCC)：这是最常用的特征提取方法之一。它通过将音频信号的频率变换为梅尔尺度，来模拟人类耳朵的听觉特性。
2. 滤波器组的Fbank特征（Filter bank）/MFSC：Fbank特征的提取方式相当于MFCC去掉最后一步的离散余弦变换。与MFCC特征相比，Fbank特征保留了更多的原始语音数据。
3. 线性预测分析（LPC）：假设系统的传递函数与全极点的数字滤波器相似，通过计算语音信号的采样值和线性预测的采样值，并最小化两者之间的均方误差（MSE），从而得到LPC特征。
4. 感知线性预测系数（PLP）：这是一种基于听觉模型的特征参数，等效于LPC特征，但它是基于人耳听觉的，通过计算应用到频谱分析中，将输入语音信号经过人耳听觉模型处理，有利于抗噪声语音特征的提取。

这些特征通常会被用于构建机器学习模型，如隐马尔可夫模型 (HMM)、深度神经网络 (DNN) 等，以进行更精准的语音识别。在实际应用中，可能会结合多种特征提取技术来优化识别效果。

在进行语音识别的特征处理前，对原始音频数据进行一系列预处理步骤是非常重要的，这些步骤有助于提高最终识别系统的准确性和鲁棒性。以下是一些在特征提取之前常见的音频预处理技术：

1. 预加重： 预加重是一个高通滤波过程，用于放大高频成分。这有助于平衡音频信号中由于声带和嘴唇效应造成的频率衰减。
2. 分帧和加窗： 由于语音信号是非平稳的，通过将长的音频信号分割成短时帧，可以近似地认为每个短时帧是平稳的。每帧通常包括20到40毫秒的音频。为了减少相邻帧之间的边界效应，会对每帧使用窗函数（如汉明窗或汉宁窗）。
3. 去噪： 去噪旨在减少背景噪声，提高语音信号的清晰度。常用的方法包括频谱减法、Wiener滤波器、深度学习方法等。对于实时或近实时的应用，非因果性去噪方法（如使用预先录制的噪声模型）可能更为有效。
4. 归一化： 音频信号的归一化（如均值归零和方差归一化）有助于减少不同录音条件下的变异，使特征提取更加稳定。

1.预加重、分帧和加窗

import numpy as np
import librosa

def pre_emphasis(signal, alpha=0.97):
    """
    对给定的音频信号应用预加重。
    预加重可以增强信号的高频部分，常用于语音处理中。
    参数：
    - signal: 原始音频信号数组
    - alpha: 预加重系数，通常介于0.95到0.97之间
    返回：
    - 预加重后的音频信号
    """
    return np.append(signal[0], signal[1:] - alpha * signal[:-1])

def frame_signal(signal, frame_size, hop_size, sample_rate):
    """
    将音频信号分割成多个帧。
    参数：
    - signal: 预加重后的音频信号
    - frame_size: 帧大小，以秒为单位
    - hop_size: 帧之间的跳跃大小，以秒为单位
    - sample_rate: 音频的采样率
    返回：
    - 分帧后的音频数据
    """
    frame_length = int(frame_size * sample_rate)
    hop_length = int(hop_size * sample_rate)
    return librosa.util.frame(signa