Kaldi HMM拓扑和状态转换模型

我的书：

淘宝购买链接
当当购买链接
京东购买链接

##HMM拓扑
使用c++的HmmTopology来描述音素的HMM拓扑。其描述的一个实例（3-state Bakis模型）如下：

 
  1 2 3 4 5 6 7 8 
  0  0
  0 0.5
  1 0.5
 
  1  1
  1 0.5
  2 0.5
 
  2  2
  2 0.5
  3 0.5
 
  3
 
 
 

在这个实例中只有一个TopologyEntry，其包括了音素1~8（所以这个例子总共8个音素，这些音素共享相同的拓扑）。有三个发射状态，每个状态包括一个自循环和发射到其它状态的概率。还有最后一个非发射状态（状态3，没有入口）。kaldi把状态0作为初始状态，最后一个状态作为作为终止状态（无发射状态，其概率等于1）。HmmTopology 对象中的概率用于初始化训练。训练的概率是上下文相关的HMM并且存储在TransitionModel对象。TransitionModel以c++类成员的方式存储HmmTopology对象。HmmTopology的转换概率通常除了初始化TransitionModel对象其它地方并不会被用到。
##Pdf-class
Pdf-class是和对象HmmTopology有关的一个对象。HmmTopology为每一个音素指定了一个HMM模型，每一个有编号的状态有两个变量forward_pdf_class和self_loop_pdf_class。self_loop_pdf_class是转换到状态自身的概率，缺省值是和forward_pdf_class一样的。但是两者的概率也可以不一样。
音素的HMM状态通常从0开始，连续的（1,2，。。。），这是为了图构建的方便。
##状态转换模型（TransitionModel对象）
TransitionModel对象存储了音素的HMM拓扑对应的转变概率和信息。构建图的代码根据TransitionModel和ContextDependencyInterface对象来获得拓扑结构和状态转换概率。
###状态转化概率建模
状态转换的概率是和上下文相关的HMM状态相关的，其依赖如下5项内容（5元组）：

• 音素
• 源HMM状态（HmmTopology对象解析，通常是0,1,2…）
• 前向概率（forward-pdf-id，）
• 自循环概率（self-loop-pdf-id）
• HmmTopology对象的状态索引
  后四项可以看成是目标HMM状态编码成HmmTopology对象。
  ###transition-ids
TrainsitionModel对象在初始化时建立了音素和整数之间的映射关系，此外还有转换标识符 （transition identifiers）transition-ids，转换索引（transition indexes），转换状态（transition states）这些量。引入这些量为了完全使用基于FST的训练方法。
  ###TransitionModel使用的整型标识符
• 音素（从1开始）：可以从OpenFst符号表转换成音频的名字，并不要求音素是连续标号的。
• hmm状态（从0开始）：用于索引HmmTopology::TopologyEntry对象。
• 概率或者pdf-ids（从0开始）：源于决策树聚类后结果，通常一个ASR系统有数以千计的pdf-id.
• transition-state（从1开始）：TransitionModel定义。每一个可能的三元组（音素，hmm状态，概率）映射到一个独一无二的转换状态。
• transition-index（从0开始）：是对HmmTopology::HmmState的索引。
• transition-id（从1开始）：是状态转换模型的转换概率。二元组（transition-state，transition-index）和transition-id可以互相映射。

##转换模型（transition model）训练
用于训练和测试的FST将transition-id做为输入label。在训练过程中使用维特比解码获得输入transition-id序列（每一个都是一个特征向量），函数Transition::Update()对每个transition-state做最大似然估计。
##对齐
和的语句长度一样的包含一系列transition-ids的vector向量描述了对齐关系。transition-ids序列从解码器得到。对齐用于维特比训练和测试时自适应。由于transition-ids编码了音素信息，可以通过工具SplitToPhones()和ali-to-phones.cc根据对齐取出音素序列。
通常kaldi中需要处理由句子索引的对齐集合，这通常使用表的方式来实现。
函数ConvertAlignment()（命令行是convert-ali）将对齐从一个状态转变模型转换到另一个模型。
##状态层次后验概率
状态级后验概率是“对齐”概念的扩展，区别在于“对齐”概念上每帧对应一个状态转变ID，而状态级后验概率每帧的状态转变ID的数量没有限制，且每个状态ID都有一个权重对应。通常按如下结构存储：

typedef std::vector > > Posterior;

如果使用Posterior创建了一个名为post的对象，则post.size()将等于句子帧数，post[i]存储的是(transition-id, posterior)信息。
当前程序中，只有两个方法创建posteriors。

• 使用ali-to-post程序将对齐转换成后延概率。
• 使用weight-silence-post修改后验概率。
  当加入lattice是，也有工具从Lattice生成后验概率。

##高斯层次后验概率
表示高斯层次的后验概率类型如下：

typedef std::vector > > > GauPost;

其状态是使用向量浮点数来表示的。向量的size和高斯量的数目是一样的。post-to-gpost将Posterior结构转换成GauPost结构。使用模型和特征计算高斯层次的后验概率。
##HMMs转成FSTs

###GetHTransducer()

fst::VectorFst*
GetHTransducer (const std::vector > &ilabel_info,
                const ContextDependencyInterface &ctx_dep,
                const TransitionModel &trans_model,
                const HTransducerConfig &config,
                std::vector *disambig_syms_left);

该函数返回输入是transition-ids，输出是上下文相关音素的FST。FST具有初始和终止状态，转换出FST的状态变换将输出音素符号。通常转出FST状态会转入一个表示3状态HMM的结构体中，然后跳到起始状态。
###HTransducerConfig配置类
HTransducerConfig控制着GetHTransducer的行为。

• 变量trans_prob_scale是状态转变缩放因子。当转变概率添加到图里时，会乘以缩放因子。命令行工具是transition-scale。
  ###GetHmmAsFst()
  函数GetHmmAsFst()输入是一段音素，返回的是状态机最终状态时得到的transition-ids序列。

###AddSelfLoops()
是向图中添加自循环。添加自循环的意义是可以进行状态重新调整，而不加的意义在于决策过程可以更高效。
###FST添加状态转变概率
函数AddTransitionProbs()向FST添加概率。这样可以在无概率时就可以创建图了。