目录
- 一、远程服务器端配置
- 1.宿主机基本环境配置
- 安装ubuntu18.04
- 安装nvidia显卡驱动
- 安装cuda11.0.3
- 安装cudnn
- 2.配置docker
- 安装docker
- 安装NVIDIA Container Toolkit
- 安装镜像
- 创建容器
- 二、内网穿透
- 1.创建zeirtier账号
- 2.在宿主机上安装zerotier
- 3.在本地机上安装zerotier
- 三、本地机端配置
- 1.安装并配置VSCode
- 2.安装Xshell7和Xftp7
一、远程服务器端配置
宿主机配置为:显卡1070ti,系统ubuntu18.04,cuda11.0.3,cudnn8.0.5
1.宿主机基本环境配置
安装ubuntu18.04
安装ubuntu18.04,可以参照该博客的步骤安装。
安装完成后需要替换镜像源并更新
# 首先备份源列表sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup# 打开sources.list文件sudo gedit /etc/apt/sources.list
将文件中原有的删除,将清华源复制到文件中。其他源有需要可以查看博客
# 清华源deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiversedeb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiversedeb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiversedeb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiversedeb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiversedeb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
点击保存并退出sources.list,然后更新apt-get
sudo apt-get update
配置宿主机ssh
apt-get install openssh-server #安装openssh-serverservice ssh start # 启动ssh服务ps -e | grep ssh #查看ssh服务是否启动vim /etc/ssh/sshd_config #做如下修改Port 22PermitRootLogin yesservice ssh restart # 重启ssh服务
安装nvidia显卡驱动
官网驱动下载地址:https://www.nvidia.cn/Download/index.aspx
根据自己的显卡型号选取,这边已1070ti为例:
之后点击Search,然后Download
下载完成后可在download目录下找到文件
sudo chmod 777 NVIDIA-Linux-x86_64-535.54.03.run #修改文件权限sudo ./NVIDIA-Linux-x86_64-535.54.03.run #进行安装
``
安装可能会报nouveau相关的错误,需要禁用nouveau后再安装,可参考博客
禁用自带的nouveau nvidia驱动
# 图形化界面可以用gedit打开sudo gedit /etc/modprobe.d/blacklist.conf # 也可以用命令行打开sudo vi /etc/modprobe.d/blacklist.conf # 如果提示没有vi就安装一下: sudo apt install vi#在文件末位添加如下两句话,然后保存退出blacklist nouveau options nouveau modeset=0 #然后更新并重启电脑sudo update-initramfs -usudo reboot#重启后查看是否禁用nouveau成功lsmod | grep nouveau #没有结果输出,则表示屏蔽成功
禁用成功后继续安装驱动操作即可,若出现缺少cc、make等情况,自行安装下gcc和make即可。可参考如下命令:
sudo apt-get install gccsudo apt-get install make
安装完成后可通过输入nvidia-smi
来验证是否安装成功。成功界面如下:
安装cuda11.0.3
安装cuda11.0.3,从官网下载文件,这边选择11.0.3版本。
根据自己的系统情况选择对应的版本
配置与本文相同的可以直接复制如下代码进行下载安装。
wget https://developer.download.nvidia.com/compute/cuda/11.0.3/local_installers/cuda_11.0.3_450.51.06_linux.runsudo chmod 777 cuda_11.0.3_450.51.06_linux.runsudo sh cuda_11.0.3_450.51.06_linux.run
这一步需要等待会,可能会反应比较慢。进入如下界面后将driver的选中取消,我们已经在前面安装过了。然后选择Install继续即可。
执行完成后,添加环境变量,参考博客
sudo gedit ~/.bashrc# cuda pathexport CUDA_HOME=/usr/local/cudaexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64export PATH=$PATH:/usr/local/cuda/bin
安装完成后输入nvcc -V
查看是否安装成功。
到这里cuda也就安装成功了。
安装cudnn
下载cudnn文件,官网地址,根据cuda版本选择合适的cudnn文件。
tar -xzvf cudnn-11.0-linux-x64-v8.0.5.39.tgz #解压#然后把cudnn文件复制到cuda目录下sudo cp -d cuda/include/cudnn*.h /usr/local/cuda/includesudo cp -d cuda/lib64/libcudnn* /usr/local/cuda/lib64sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*#查看cudnn版本cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
版本确实为8.0.5,cudnn安装成功。
2.配置docker
安装docker
#直接安装sudo apt install docker-ce#相关命令sudo docker images #查看镜像sudo docker ps -a #查看容器
安装NVIDIA Container Toolkit
参考博客
#添加源distribution=$(. /etc/os-release;echo $ID$VERSION_ID)curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list#更新路径并安装nvidia-container-toolkitsudo apt updatesudo apt-get install -y nvidia-container-toolkitsudo systemctl restart dockerdocker start $(docker ps -aq) #启动所有容器docker exec -it <容器名称或ID> /bin/bash #进入容器
安装镜像
镜像下载地址,选择如下镜像,复制后面链接进行下载。
安装完成后通过docker iamges进行查看,会发现镜像安装成功。
可以通过Dockerfile自己定制镜像,我也是初学,对着b站上抄了一份配置文件。视频地址,可以去看一下,三连支持。
里面根据自己需求可以增删一些模块。
FROM nvidia/cuda:11.0.3-cudnn8-devel-ubuntu18.04 ADD sources.list /etc/apt/ENV PATH /opt/conda/bin:$PATHEXPOSE 8080#Install basic dependenciesRUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && / echo "Asia/Shanghai" > /etc/timezoneRUN apt-get update && apt-get install -y --no-install-recommends / bzip2 / g++ / git / graphviz / libgl1-mesa-glx / libhdf5-dev / openmpi-bin / vim / libopencv-dev / libsnappy-dev / python-dev / python-pip / build-essential / wget && / rm -rf /var/lib/apt/lists/*# Install anconda for python 3.6ADD Anaconda3-2023.03-1-Linux-x86_64.sh /home/anaconda.shRUN /bin/bash /home/anaconda.sh -b -p /opt/conda && / ln -s /opt/conda/etc/profile.d/conda.sh /etc/profile.d/conda.sh#Set LocaleENV LANG C.UTF-8 LC_ALL=C.UTF-8#Initialize workspaceRUN mkdir /workspaceWORKDIR /workspaceCMD ["/bin/bash"]
根据视频内容,Dockerfile文件夹中有这三个文件,anaconda文件有需求的话自己下载一下,sources.list用与宿主机相同的文件即可(见本文开头的配置)
docker build -f Dockerfile -t nvidia/cuda:V1 . #V1这个是TAG,自己随意命名
安装完成后会获得一个新的镜像,定制镜像就成功了。
创建容器
#将容器的22端口和6000端口分别映射到宿主机的8001和8002端口,之后可以通过宿主机端口进行访问容器#-v 实现容器卷挂载,将容器内/data目录挂载到宿主机/data/docker1目录下sudo docker run --gpus all -it --privileged=true --name=docker1 -p 8001:22 -p 8002:6000 -v /data/docker1:/data 镜像名称或者编号 /bin/bash
配置容器内ssh
apt-get install openssh-server #安装openssh-serverservice ssh start # 启动ssh服务ps -e | grep ssh #查看ssh服务是否启动vim /etc/ssh/sshd_config #做如下修改Port 8001Port 8002PermitRootLogin yesservice ssh restart # 重启ssh服务passwd #修改密码
完成后,即可在宿主机上通过端口对其进行访问,如
sudo ssh root@172.17.0.3 -p 8001
二、内网穿透
内网穿透选择使用zerotier实现
1.创建zeirtier账号
创建完成后创建一个网络,记住NETWORK ID即可,后面通过这个链接。
2.在宿主机上安装zerotier
#直接安装即可curl -s https://install.zerotier.com | sudo bashzerotier-cli join NETWORK_ID #输入自己网络的IDsudo systemctl restart zerotier-one
3.在本地机上安装zerotier
官网直接下载即可,直接安装,安装完成后同样输入自己的Network ID
之后到zerotier网站上,自己的那个网络里,把刚加入的两个网络的前面的勾打上,将两端机器组网成功。
之后在本地端可以直接连接到服务器,不同网络下都可以。
三、本地机端配置
1.安装并配置VSCode
可以查看文档https://www.autodl.com/docs/vscode/,pycharm的链接方式也有,很详细。
2.安装Xshell7和Xftp7
可以使用Xshell7和Xftp7配合vscode,官网免费下载地址,下载完正常安装就行。
打开Xshell7新建一个连接,如下,输入zerotier上服务器的ip和端口号。(要连接容器就把端口号设置为容器的端口,如上文的8001、8002)
这个绿色的小按钮是Xftp的功能,打开既是Xftp。用于两端文件传输。