ubuntu deep learning 环境配置

fjptec-xm

在UEFI模式下，ubuntu 安装双系统问题总结：

• 
  首先是开启UEFI安装模式，如果关闭secure boot
  
• 
  grub2无法写入问题，分区方法：根目录/  ,  /home, efi格式（1G），其他根据个人需求分
  
• 
  引导问题可以尝试在U盘安装盘（try ubuntu)中，下载boot-repair（具体操作百度搜索boot-repair就有教程），可以修复大量的boot问题;不过我最后是把整个盘格式化了然后执行上面的步骤才解决引导问题
  

正式配置篇：

• 
  nvidia显卡驱动 installed by cuda, so do next step
  
• 
  cuda
  
  
  
  • 在Nvidia官网 下载CUDA 8 并安装
    
    
    # .deb格式的文件将显卡驱动和cuda工具包都一起安装了
    sudo dpkg -i cuda-repo-ubuntu1604-8-0-local_8.0.44-1_amd64.deb
    sudo apt-get update
    sudo apt-get install cuda
    # .run格式的文件，安装时有一个人机交互的界面，可以选择是否安装显卡驱动，CUDA安装路径等。适合于先安装特殊需求的驱动，然后单独安装CUDA工具包
    sudo sh cuda_8.0.61_375.26_linux.ru
    
  • 将 CUDA 添加至环境变量
    
    
    echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
    echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
    source ~/.bashrc
    
  • 确认是否安装成功
    
    
    
    • nvcc -V
      
    
    
    
  • 重启计算机
    
    
    
    • sudo shutdown -r now
      
    
    
  
  
• 
  cudnn
  
  
  
  • 
    
    
    NVIDIA CUDA Deep Neural Network library(cuDNN)是深度神经网络中GPU加速相关的库，实现了很多基本的结构，如前传后传，卷积层，pooling 层，归一化，激活函数等。
    首先，需要在https://developer.nvidia.com/cudnn 注册并下载。这里选择下载cuDNN v5.1 library for Linux for my time
    解压缩并复制文件到相应位置
    # must be careful that libcudnn.so.x.x.x,where x must be the same asyours
    tar xvf cudnn*.tgz  
    cd cuda/include   # 这里文件下载到了根目录下，需按照自身情况选择目录
    sudo cp cudnn.h /usr/local/cuda/include/
    cd ~/cuda/lib64
    sudo cp lib* /usr/local/cuda/lib64/
    cd /usr/local/cuda/lib64/
    sudo rm -rf libcudnn.so libcudnn.so.7 # 删除原有动态文件
    sudo ln -s libcudnn.so.7.0.2 libcudnn.so.7 # 生成软链接
    sudo ln -s libcudnn.so.7 libcudnn.so # 生成软链接
    sudo ldconfig #更新链接，不然编译caffe会出现找不到cudnn的文件路径错误！
    sudo chmod a+r /usr/local/cuda/lib64/libcudnn* # 将文件设置为所有人皆可读取
    
    到目前位置，跟GPU相关的东西都安装好了，使用指令nvidia-smi，可查看GPU当前状态。或者通过指令nvidia-settings查看GPU的详细信息
    
  
  
  
• 
  pip
  
  
  
  • 
    
    
    
    pip是Python的包管理工具，主要用于安装PyPI上的软件包，可以替代easy_install工具。
    sudo apt-get install python-pip # 安装pip
    sudo apt-get install python3-pip #安装pip3
    /usr/bin中有 pip,pip2,pip3，使用pip2为python2.7 安装包，用pip3为python3.5安装包，至于使用pip为那个版本的python安装，要看pip指向的是pip2还是pip3
    pip --version
    
  
  
  
• 
  opencv
  
• 从官网http://opencv.org/下载Opencv
  
  
  cd ~/opencv
  mkdir build
  cd build
  配置：
  1 sudo apt install cmake
  2 sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
  编译：
  sudo make -j8
  install:
  sudo make install
  sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
  sudo ldconfig
  
• 
  pycharm install
  
  
  
  • 　　sudo tar -xvf pycharm-community-2017.2.3.tar.gz
    
  •       找到pycharm的bin文件夹，然后打开终端，sh ./pycharm.sh
    
  
  
  
• 
  pytorch
  
  
  
  • 　　从pytorch官网选择对应的系统 http://pytorch.org/
    
  •        sudo pip install http://download.pytorch.org/whl/cu80/torch-0.1.12.post2-cp27-none-linux_x86_64.whl
    
  •        sudo pip install torchvision
    
  
  
  
• 
  jupyter notebook
  
  
  
  • 　　
    
    
    在Ubuntu上安装Jupyter notebook
    pip install jupyter notebook
    在~/.bashrc 中添加路径
    export PATH=$PATH:~/.local/bin
    启动Jupyter notebook
    jupyter notebook
    为jupyter添加Python3内核
    
    
    　　pip3 install ipykerne
    
    
       sudo python3 -m ipykernel install --name python3 --display-name "Python3.5.2"
    
  
  
  
• 
  caffe
  
  
  
  • 　　git clone https://github.com/BVLC/caffe.git
    
  • 
    
    
    
    sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler  
    sudo apt-get install --no-install-recommends libboost-all-dev
    sudo apt-get install libatlas-base-dev  (ifyou want to use libatlas other than openblas)
    sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
    
    sudo cp Makefile.config.example Makefile.config
    修改Makefile.config文件gksu gedit Makefile.config
    　　 compare to you Makefile.config to set below
    USE_CUDNN := 1 使用cudnn
    OPENCV_VERSION := 3 使用opencv3.1.0版本
    CUDA_DIR := /usr/local/cuda CUDA路径
    BLAS := open 使用openBLAS版本 if you use libatlabs,do not change it
    BLAS_INCLUDE := /usr/local/include BLAS路径
    BLAS_LIB := usr/local/lib
    MATLAB_DIR := /usr/local/matlab matlab 路径 if you do not use it, do not change it
    PYTHON_INCLUDE := /usr/include/python2.7 \
    /usr/lib/python2.7/dist-packages/numpy/core/include
    PYTHON_LIB := /usr/lib
    WITH_PYTHON_LAYER := 1
    INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
    LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial/
    USE_PKG_CONFIG := 1
    BUILD_DIR := build
    DISTRIBUTE_DIR := distribute
    TEST_GPUID := 0
    Q ?= @
    
    
    
    # make过程中可能出现的bug，出门左拐
    
    
    sudo make all  
    sudo make test  
    sudo make runtest  
    
    
    make pycaffe -j8
    
    
    把caffe中和python 相关的内容的路劲刚添加到python的编译路径中
    sudo gedit ~/.bashrc
    export PYTHONPATH=(path/to/caffe)/python:$PYTHONPATH # be sure to change the path
    source ~/.bashrc