解决非root服务器上安装cuda和cudnn,深度学习环境的配置

服务器 0

问题:

conda环境中安装不了cuda11.8以上的版本,然而自动下载的torch2.3.1需要cuda的版本为12.1。

再:conda中安装的cuda版本是精简版,找不到一些nvcc之类的东西。

再:服务器没有root权限,不能把整个服务器的GPU装cuda

解决方案:

1.cuda

参考:ubuntu20.04安装12.2版本的cuda_to install for cuda 12, perform the above configur-CSDN博客

去官网上下载指定版本,转移到非root权限的服务器上,安装。

1.1去官网,点击需要的版本,以12.1为例

CUDA Toolkit Archive | NVIDIA Developer

1.2选runfile版本

用deb方式安装CUDA,会附带安装显卡驱动,默认安装;

用run方式安装CUDA,会附带安装显卡驱动,可以选择不安装;

·安装命令:

sh cuda_12.2.0_535.54.03_linux.run

·输入:accept

cuda安装包是自带显卡驱动的,所以这一步按空格去掉安装显卡驱动的选项,然后选择install

对我来说,仅空格选CUDA Toolkit一项即可

-options 改安装的目录,不然会因为没有权限而失败

│ Options │

│ Driver Options │

Toolkit Options

Library install path (Blank for system default) 改为相同的自定义路径:/yangbingkun/cuda12.1 │

Done

-Toolkit Options

│ CUDA Toolkit │

Change Toolkit Install Path 改为相同的自定义路径:/yangbingkun/cuda12.1

│ [ ] Create symbolic link from /usr/local/cuda 非root用户不需要在/usr/local/cuda目录下创建符号链接

│ - [ ] Create desktop menu shortcuts 不创建桌面快捷方式

│ [ ] Yes │

│ [ ] No │

│ [ ] Install manpage documents to /usr/share/man 取消此选项,因为您不是root用户 │

Done

2.cudnn

2.1去官网,找对应cuda的版本

cuDNN Archive | NVIDIA Developer

下载:arch : x86_64对应 Local Installer for Linux SBSA (Tar) 版本

2.2解压

tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

2.3复制到cudatoolkit目录

cp -p /data/yangbingkun/packages/cudnn-linux-x86_64-8.9.7.29_cuda12-archive/lib/libcudnn* /data/yangbingkun/cuda-12.1/lib

cp /data/yangbingkun/packages/cudnn-linux-x86_64-8.9.7.29_cuda12-archive/include/* /data/yangbingkun/cuda-12.1/include

(实际在这里:/data/yangbingkun/cuda-12.1/targets/x86_64-linux/include/)

2.3查看cudnn的信息

cat /data/yangbingkun/cuda-12.1/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

2.5设置路径

export PATH="/data/yangbingkun/cuda-12.1/bin:$PATH" export CUDA_HOME="/data/yangbingkun/cuda-12.1" export LD_LIBRARY_PATH="/data/yangbingkun/cuda-12.1/lib64:$LD_LIBRARY_PATH"

3.anaconda

安装最新的Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

换源:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

conda config --set show_channel_urls yes

4.pytorch

把setup.py中的需求包拷贝出来,用conda安装

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 torchmetrics kornia omegaconf pytorch-lightning tqdm scikit-learn numpy matplotlib timm==0.4.12 -c pytorch -c conda-forge -c nvidia

(pytorch-cuda=12.1安装指定的cuda版本和pytorch)

ps:一些其他的源

channels:

  • defaults show_channel_urls: true default_channels:

  • SUSTech Open Source Mirrors

  • SUSTech Open Source Mirrors

  • SUSTech Open Source Mirrors

  • SUSTech Open Source Mirrors

  • SUSTech Open Source Mirrors custom_channels: conda-forge: SUSTech Open Source Mirrors msys2: SUSTech Open Source Mirrors bioconda: SUSTech Open Source Mirrors menpo: SUSTech Open Source Mirrors pytorch: SUSTech Open Source Mirrors simpleitk: SUSTech Open Source Mirrors nvidia: SUSTech Open Source Mirrors envs_dirs:

也许您对下面的内容还感兴趣: