MMsegmentation-随机初始化

系列文章目录

---

前言

mmlab下游分支调用权重随机初始化使用参考mmengine的说明文档
mmengine支持模型初始化方法包括：BaseInit, Caffe2XavierInit, ConstantInit,KaimingInit, NormalInit, PretrainedInit,TruncNormalInit, UniformInit, XavierInit,bias_init_with_prob, caffe2_xavier_init,constant_init, initialize, kaiming_init, normal_init,trunc_normal_init, uniform_init, update_init_info,xavier_init_
github链接

---

一、初始化单个模块

init_cfg=dict(type='Xavier', layer='Linear', distribution='uniform'),

二、初始化多个模块

代码如下（示例）：

init_cfg=[dict(type='Xavier', layer='Conv2d', distribution='uniform'),
                dict(type='Xavier', layer='Linear', distribution='uniform')],

---

总结

模型初始化对模型收敛过程与模型泛化性能十分重要，相较于具有大量数据的预训练权重，数据量较少的话随机初始化还是一种较为可靠的方式