租服务器训练深度学习模型

服务器 0

一、选择租哪个

推荐用AutoDL(便宜、功能强大、gug少、有时时客服解决问题)

AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL

二、注册、登录

学生可以认证,享受会员价

服务器需要登录后先充值,先充个10元,接下来试试看。每次都是开机使用完关机后扣费,可以选择按量,超级划算,按小时扣费。

三、使用

1、了解学习查看资料

(租之前具体可以先看看帮助文档,上面好详细,各种文章视频讲解)

 2、开始租服务器

建议多租几块,只要不开机,就不会承担费用。只租一块的话,可能出现空闲GPU不足的情况。租好之后,默认开机状态,建议关机或无卡模式开机! 

注意选择的两个指标:费用和剩余可租的卡数。可以到最下面选择总结一点的,一般前面和后面的选择的人可能多。至于我说的什么意思,大家租两次用用就知道什么意思了。

3、创建镜像环境

       也就是创建一个你要用的模型的虚拟环境,选择基础环境就行吗,里面对应的框架名称,框架版本,python版本。需要的都有,这里说明一下python3.8(ubuntu18.04),ubuntu18.04就是一个Linux系统的虚拟机,服务器不是windows系统,所以运行代码终端命令是在linux系统终端,有点代码有些不一样,不过资料很多,可以查到,不需要担心。

        租用服务器很方便的一个就是他conda已经有了,而且不需要下载软件了,只需要根据选择就可以配置好所谓的之前的虚拟环境,也不需要纠结一个服务器上想安装多个环境,没有必要,直接多租几个服务器,每个选择不同的自己需要的基础镜像环境不就好了。到时候不需要直接点击释放实例,就没有了,也不需要担心安装有稳定,环境版本不兼容等问题,及其方便,爽歪歪!!!

点击立即创建,就创建好了,默认是GPU有卡模式开机的,马上点击关机,关机后开无卡模式开机,先熟悉一下,0.1/小时,租好后关机看GPU充足的就是你可以马上使用。 

4、网络模型的安装

一、上传代码项目

开机后点击JupyertLab就可以进入

建议可以把自己需要的模型,包,库,项目等放到tmp数据盘。

这里就可以把自己电脑上弄好的项目代码数据集等压缩,然后自己拖拽到JupyertLab左边的目录区,等待上传(只能上传压缩文件,文件夹直接不可以);

上传结束,在终端命令输入命令,减压成文件夹就可以了。注意先cd文件路径,这里是减压到当前文件夹了。

如zip文件,输入:

unzip 文件名.zip

 

代码自己项目减压完成后,安装包库,这里用yolov8进行实例分割,所以上面是下载好的ultralytics包和自己建立好的数据集。详细yolov8实例分割各种步骤参考博文

YOLOV8实例分割(环境配置+搭建模型+数据集制作+训练+预测全套)_yolo实例分割_彩色面团儿的博客-CSDN博客

二、安装对应的包

1、创建环境:

conda activate

conda init

2、关闭终端,重新打开,进入(base)环境,到自己项目路径里。

3、直接pip 包就可以了。

pip install -r requirements.txt

安装yolov8,它这里其实叫ultralytics

pip install ultralytics

如果上传的文件啥的都放在miniconda3的文件夹下,就不需要创建环境了,即不需要

conda activate 和 conda init,直接pip包就行。

三、训练模型

那需要训练的时候,我这里是适用,所以epochs=10.且图像数量较少,大家训练的时候就需要把服务器关机重新开机了。就是不能在无卡模式下训练了吧。需要用到gpu了。

yolo task=segment mode=train model=mydata/yolov8s-seg.yaml data=mydata/coco128-seg.yaml epochs=10 batch=4 save=true workers=1 pretrained=true

 

 到此大功告成,训练的pt模型已经保存。

5、尝试终端命令路径跳转

这里注意补充一下在命令里,注意路径:

可以这样用:

cd 路径

注意跳转路径,安装包,运行代码等,路径得对喽。

一、路径补充

相对路径是相对于当前文件所在目录的路径,而绝对路径则是从根目录开始的完整路径。

例如,我们的项目文件夹路径为/Users/username/Documents/myproject,而我们需要读取该文件夹下的test.txt文件,那么使用相对路径就可以直接写成"test.txt",而使用绝对路径则需要写成"/Users/username/Documents/myproject/test.txt"。

二、表示相对路径的符号

在Python中,表示相对路径的符号有两种:点(.)和双点(..)。

1. 点(.)表示当前目录,例如"./test.txt"表示当前目录下的test.txt文件。

2. 双点(..)表示上级目录,例如"../test.txt"表示上级目录中的test.txt文件。

三、相对路径的使用场景

在Python中,相对路径的使用场景很多,比如:

1. 项目中需要读取或写入某个文件,此时使用相对路径可以使代码更加灵活,可以在不同的机器或环境中运行。

2. 在开发过程中,需要导入其他模块,此时使用相对路径可以使代码更加清晰简洁。

3. 在使用第三方库时,需要指定一些配置文件或资源文件的路径,此时使用相对路径可以使代码更加易于移植和维护。

四、相对路径的一些注意事项

在使用相对路径时,需要注意以下几点:

1. 相对路径是相对于当前文件所在目录的路径,而不是当前执行脚本的目录。如果需要使用当前执行脚本的目录作为相对路径的起点,可以使用os.path.dirname(__file__)获取当前文件所在目录。

2. 相对路径中不要使用绝对路径的形式,例如"../Users/username/Documents/myproject/test.txt"是错误的。

3. 相对路径中的斜杠(/)在不同操作系统中有不同的表示方式。在Windows系统中,使用反斜杠(/)表示路径分隔符,而在Linux和Mac系统中使用斜杠(/)表示路径分隔符。为了保证代码的可移植性,建议使用os.path.join()方法来拼接路径。

四、完成后一定记得手动点关机关机关机

重要是事情说三遍,毕竟跑的都是钱啊!!!你自己的笔记本关机没用啊,远程服务器还是开着的

五、总结

1、租服务器

2、关机开启无卡模式开机

3、进入jupyter

4、压缩本地项目代码为zip文件,拖拽本地项目代码数据到autodl-tmp目录下,上传完成后减压

unzip 文件名.zip

5、配置环境

conda activate

路径前面出现base

conda init

关闭终端重启

6、cd指令进入文件夹目录,安装程序所依赖的包

pip install -r requirements.txt

 pip install ultralytics

7、完成,关机,正常有卡模式开机

8、到文件夹目录开始训练

yolo task=segment mode=train model=mydata/yolov8s-seg.yaml data=mydata/coco128-seg.yaml epochs=10 batch=4 save=true workers=1 pretrained=true

9、下载训练好的文件

只能直接在jupyter中右击下载文件,不能直接下载文件夹,官方也给出了很多下载文件夹方法,我觉得很复杂,直接把文件夹压缩了不就能下载了吗?

# 压缩。如果没有zip命令,安装命令:

apt-get update && apt-get install -y zip zip -r <自定义压缩包名称>.zip <待压缩目录的路径>

# 解压。如果没有zip命令,安装命令:

apt-get update && apt-get install -y unzip unzip <待解压压缩包名称>.zip -d <解压到哪个路径>

zip -r train4.zip root/miniconda3/ultralytics/runs/segment/train4 

也许您对下面的内容还感兴趣: