103、微调bert 模型

自从老大离职去了Oracle之后，就一直觉得找不到组织了。

老大在的时候真的觉得有什么新的想法可以和老大说，然后老大会权衡利弊。

然后如果可行真的会让我们付诸实际行动的。

然而老大离职之后，感觉没有领导了。只能自己漫无目的的工作了。

 

下面转到正题，在Azure  K80 深度学习主机上面微调bert模型

1、下载cuda9.0的驱动，因为BERT模型需要的tensorflow-gpu版本要大于等于1.12.0

2、安装cuda 9.0

 

 

3、安装和配置cudnn

 

4、安装tensorflow-gpu 1.12.0

 

5、检查GPU和cuda 是否可用，就是安装成没成功

6、微调bert模型

 

 

 

 

 

由上图所示，微调bert大概需要12GB左右的显存，所以一般本地机器的显卡是不够用的。需要使用azure上面的机器

在微调的过程中还有很多技巧，不能微调时间长了，导致过拟合。具体选择哪一个step的模型，需要使用tensorboard --logdir

来查看loss和accuracy。

好啦今天就写这些啦。

祝您身体健康，天天开心。