对于代码复现学习的一些理解||计算机研究生学习笔记||经验分享||深度学习||pytorch||不定期长期更新

代码复习

  对于初学者，一开始接触深度学习代码总是困难的，尤其是对于github上满屏英文、复杂的环境、各种各样的报错，有时候哪怕跟着配套的readme、论文、视频，仍然不能成功跑起来。
在经受了一堆毒打后，笔者也开始有一点自己的理解，这里分享给大家，可能有些不对的地方，希望佬们指正，谢谢！
step1：
  对于网上已经开源的代码，先把它下载下来。github下载慢可以用 码云 https://gitee.com/ ，具体方法网上有很多，一般成熟的深度学习框架不会特别大。把代码都下下来就是一个良好的开始。
step2：
  把它解压好用pycharm打开，然后就得到类似下图的一个东西，也许你并没有看懂。所以你需要打开翻译器，把各个文件名的意思搞清楚。（这一步很重要）然后你就能初步理解它这个模块大概是要干什么了。

step3：
  深度学习框架一般由这么几个部分组成，数据集（下载、划分、加载），网络模型（一个网络会分成很多个不同的模块），优化器损失（有些框架喜欢放一堆损失），训练（定义迭代、打印参数），测试（计算各项指标），可视化，参数统计，跑分模块，许可证，自述。有一个大的框架后，在把各个部分串起来，可以看看训练文件分别调用了哪些文件。
下图我们可以看出，在nets文件中引用了主干网络和一些训练的超参数，在utils文件中引用了损失和参考框、类别。

step4：
  pip install -r requirements.txt 配置环境，一般库安不上可以考虑切换清华源，网上也有很多方法，这里就不具体阐述了。
  看Readme文件，跟着作者的思路一步步跑，负责的作者会写的很具体，如果遇到很敷衍的，注释又很少的代码，基于学习为目的的初学者可以考虑换 一个框架学习。

其他的补充：
1、现有封装好的框架，一般都是简洁易懂的。首先该关注的不是每个封装好的模块的具体作用，而是根据需要修改的超参数。数据集是很有用的，怎么用好数据集。在网络上提点，不如考虑实际任务，在数据预处理上做一点文章。
2、学会百度谷歌，学会debug，很多错误多在网上找找原因，如果困扰很久的问题，可以把它记录下来，当作一种经验。
3、理解整体的结构，确定自己的目的是为了学习还是单纯的为了跑一个项目，这样关注的模块也不同。
4、学会比较，以YOLO为例，网上用YOLO跑模型的项目有很多，同时把原版下下来与别人改进的版本进行对照，看看哪些模块有修改，哪些模块没有发生变化。

---

python 包的概念
我们可以发现，在有的框架中，有些文件带点、有些文件不带点。

其实本质上是文件和python包的区别。

为什么会有这种区别呢？简单理解就是，python包里的文件用于引用，一般都是封装好的模块，不需要去改动。
更详细的解释可以看（https://blog.csdn.net/weixin_44588711/article/details/104008413），或者搜一下python package这个概念。
本质上是一个小知识点，今天遇到了就把记录下来。

---

初学者复现的话，最好先挑选比较成熟的框架，可以参考star数和更新时间。在复现前先看看README.md文件，或者搜一下网上的教程、注释（常见深度学习框架一般都有教程），这比自己慢慢debug测试要来的快很多。
另外，如果自己修改模块的话，自己要有一个测试的思路，可以尝试小样本的测试。不赶时间的话就慢慢跑、慢慢debug，迟早能找到相应功能函数。一般函数有作者自定义的、也有python包导入的。
大致就是：寻找→修改→测试。在别人的轮子上改个螺丝钉先。
在这个过程中，写日志、备注很重要，不至于一段时间前的代码就成了废品，不然跑的次数多了，容易自己都不知道自己之前跑的是什么。

---

复现一个新的代码时候，可能无法避免的会遇到一些注释很少的代码，甚至没有注释。在没有办法的情况下，复现的思路基本如下：
1、先理清处大框架，即每个py文件大概是干嘛的，这个一般可以通过阅读代码名字弄清楚，然后尝试一下每个py文件的顺序，一般为数据处理、增强->训练->测试。
2、然后拿小样本（部分数据集），放入代码中，开始debug，弄清楚每个模块之间跑的顺序，弄懂作者写的每个模块的大致功能，这一步不需要弄懂很小的细节。这里的模块可以理解成函数或者方法，同样有时候通过读英文名称也懂。
3、拿笔画一画流程图，理清每个模块的关系，这样完整跑通一个流程，就大概懂每个代码的作用，就可以着手改一改了。

---