Ubuntu16.04配置深度学习环境（pyTorch）：Ubuntu16.04 + cuda10.2 + cuDNN7.6.5 + Anaconda + pyTorch1.5 + pycharm

NVIDIA驱动--cuda10.2--cudnn7.6--Anaconda（此时就可以选择Python3.x或Python2.x下载对应的版本）--pyTorch1.5--pycharm

 

• 安装 NVIDIA驱动

  • 我之前已经安装好驱动了，不赘述。大体参考的是，【转】Ubuntu16.04使用apt get 命令安装 Nvidia 显卡驱动

  • 通过如下命令简单验证

    nvidia-smi

     

• 安装 CUDA 和 cuDNN

  • 如果cuda版本不合适，过低啊之类的，先卸载，然后安装。卸载参考，Ubuntu安装和卸载CUDA和CUDNN

  • 安装 CUDA 10.2

    • 官方下载地址，CUDA Toolkit 10.2 Download

    • 参考了，Ubuntu安装和卸载CUDA和CUDNN，Ubuntu16.04+CUDA9.0 安装（全网最简便快速安装，测试成功）

    • 通过如下命令简单验证

      （查看CUDA版本信息）
      nvcc -V
      
      （测试CUDA的samples例子 - 成功则正常输入显卡设备相关信息）
      cd /usr/local/cuda-10.2/samples/1_Utilities/deviceQuery
      make
      ./deviceQuery
      

       

  • 安装 cuDNN v7.6.5 for cuda10.2

    • 官方下载地址，cuDNN Download （需要注册账号登录）；选择了 "cuDNN  Library for Linux"

    • 参考了，官方（deep learning SDK documentation），Ubuntu安装和卸载CUDA和CUDNN

    • 通过如下命令简单验证

      （查看 cudnn 版本信息）
      cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

       

• 安装 Anaconda

  • 下载地址，https://www.anaconda.com/products/individual。选择的Linux Python3.7的64-Bit (x86) Installer，然后完成安装。检查是否安装成功，参考ubuntu16.04安装和使用Anaconda3（详细）

    conda --version
    
    （我的输出是：conda 4.8.2）

     

  • 安装完成后，终端前部分出现了（base）字样，这是因为 ～/.bashrc 文件中被Anaconda加入了命令，在打开终端时自动conda  activate base。解决方案见ubuntu系统，anaconda3安装后，命令行界面打开默认进入base环境解决办法。我用的是（取消默认加载环境，命令行执行）

    conda config --set auto_activate_base false

     

  • 使用conda命令管理包、管理环境等，参考，linux笔记：使用conda命令管理包、管理环境详细讲解

  • 配置清华的镜像。参考，anaconda配置清华大学开源软件镜像

（在Anaconda Prompt中运行）
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

（前往当前用户的目录下，查看.condarc文件）
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true

注意：配置完成之后，要关闭控制台再重新打开控制台，这样新配置的文件才会被加载进来

• 安装 pyTorch

  • 注意，先在Anaconda中创建一个自己的Python环境（用来各种倒腾；不同的环境可以方便隔离项目，以免互相干扰陷入大坑），然后再在这个环境下来安装pyTorch等；例如，这里我创建的环境叫做pytorch，如下

    conda create -n pytorch python=3.6
    conda activate pytorch

  • 上面在创建新环境时，我出现了错误 ”NotWritableError: The current user does not have write permissions to a required path.“。先改变文件夹权限（下面这条命令，注意改成自己的Anaconda文件夹路径），然后再执行上面就可以了

    sudo chmod 777 -R /home/xxx/anaconda3

     

  • 参考，pyTorch官网，〖Pytorch笔记0〗Ubuntu16.04系统Anaconda下安装Pytorch(基于conda或pip)。注意此时是在上面我创建的自定义环境pytorch中

    注意到，在博客《〖Pytorch笔记0〗Ubuntu16.04系统Anaconda下安装Pytorch(基于conda或pip)》中说到，”但是这里一定要注意，去掉-c pytorch，安装的时候才会默认从清华源下载相应的包，因此这里用命令行“
    
    conda install pytorch torchvision cudatoolkit=10.2

    这里安装时，第一次出错，错误“Conda - Downloaded bytes did not match Content-Length”（在用conda安装包的时候下载包的长度不够导致安装包不成功。原因一般是在下载的时候速度较慢，导致下载timeout而终止；参考，Conda - Downloaded bytes did not match Content-Length 问题解决方案）。由于我上面其实已经配置过清华源了，所以我什么都没干，又重新执行了一遍命令就好了。看来还是因为有时连接不稳定？反正接下来就正常了，pyTorch就装好了。

  • 简单验证

    （终端输入）
    python

    （然后输入Python命令）
    import torch
    torch.cuda.is_available()
    
    （输出是 True 则表示安装成功）

    结果我的输出是 False。晕，一路下来，版本应该都没问题，为什么没安装成功？——检查后发现还是版本问题。

    输入：
    conda list pytorch
    显示：
    pytorch   1.3.1   cpu_py36h62f834f_0   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
    
    输入：
    conda list torchvision
    显示：
    torchvision   0.4.2   cpu_py36h9ec355b_0   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
    
    （# Name   Version   Build   Channel）

    注意到上面是用清华源的安装的（当时也是没想太多，心想建议用清华源就用呗）。但现在看来，可能是清华源的更新没这么快。上面安装的pyTorch并不是1.5版本而是1.3版本，且pyTorch和torchvision的build信息中带有cpu字样。显然这装的有问题啊。于是我安装pyTorch官网说明，不用清华源了，直接输入如下

    conda install pytorch torchvision cudatoolkit=10.2 -c pytorch

    输入后显示出了如下信息

    ## Package Plan ##
    
      environment location: /home/xxx/anaconda3/envs/pytorch
    
      added / updated specs:
        - cudatoolkit=10.2
        - pytorch
        - torchvision
    
    
    The following packages will be downloaded:
    
        package                    |            build
        ---------------------------|-----------------
        pytorch-1.5.1              |py3.6_cuda10.2.89_cudnn7.6.5_0       424.4 MB  pytorch
        torchvision-0.6.1          |       py36_cu102        11.8 MB  pytorch
        ------------------------------------------------------------
                                               Total:       436.2 MB
    
    The following packages will be UPDATED:
    
      pytorch            anaconda/pkgs/main::pytorch-1.3.1-cpu~ --> pytorch::pytorch-1.5.1-py3.6_cuda10.2.89_cudnn7.6.5_0
      torchvision        anaconda/pkgs/main::torchvision-0.4.2~ --> pytorch::torchvision-0.6.1-py36_cu102
    

    如上，可以看出来的pyTorch的版本确实和预想不一样。很快我就安装好了。然后再运行上面的验证部分就没问题了

    （终端输入）
    python

    （Python命令）
    import torch
    torch.cuda.is_available()

    这次我的输出是True了。OK。所以，是否选择清华源，选择哪个版本的pyTorch进行安装，就需要根据各自情况考虑了。

• 安装 pycharm

  • 下载社区版本（Community），https://www.jetbrains.com/pycharm/download/#section=linux

  • 安装并建立桌面快捷方式（固定到快速启动栏），参考，Ubuntu16.04安装Pycharm教程及快捷方式添加

  • 建立工程，配置，开始使用吧！