AI是由很多层计算组成的,每一层计算都无差别地计算所有的节点,甚至是对所有的节点的排列组合。由于没有局部性,运行内存需要能够放得下一整个模型至少一层的运算量。如果运行内存不够大,就得把运算好的数据存储起来,放在外存,然后在外存读出没有运算的数据继续算,那这IO就太频繁了,耗时会很大。
以下是AI模型对显卡的要求参数
ai绘画对显卡的要求:
跑AI画图就是跑算法,跑算法依赖GPU,也就是显卡。
显卡一般需要N卡(Nvidia),不建议A卡(AMD)。
最低配置是Nvidia GTX1060(4G显存以上),勉强能跑AI画图,一张20steps步数的图大概30-60秒生成。
建议配置是Nvidia GTX3060,8G以上。一张20steps步数的图大概10-20秒。
当然,土豪建议直接上GTX 3080,GTX4090,那就更快了,几秒一张图,十几秒四张图。
ai训练模型对显卡的要求:
如果你需要本地炼丹(训练模型),跑ControlNet等,那么建议内存16G以上(不含16G),显存12G以上,显卡芯片3060以上(不含GTX 3060)。
Nvidia 用于 AI 模型训练的高端显卡主要包括以下几种:
- Nvidia Titan RTX: 这是一款最强大的消费级 GPU,具有高达 72 GB 的显存、4608 个 CUDA 核心和 576 个 Tensor 核心,适用于大型模型的训练和推断。
- Nvidia GeForce RTX 3090: 这是一款针对游戏和内容创作而设计的 GPU,但它也可以用于 AI 模型训练。它包含了 10496 个 CUDA 核心和 328 个 Tensor 核心,适用于大规模的深度学习任务。
- Nvidia A100: 这是 Nvidia 的最新数据中心 GPU,具有高达 80 GB 的显存、6912 个 CUDA 核心和 432 个 Tensor 核心,适用于最大规模的 AI 模型训练和推断。
- Nvidia Quadro RTX 6000: 这是一款专业级 GPU,适用于工程、科学、医疗等领域的 AI 模型训练。它包含 4608 个 CUDA 核心和 576 个 Tensor 核心。
Nvidia Tesla V100: 这是一款用于数据中心和高性能计算的 GPU,适用于大规模的 AI 模型训练和推断。它包含 5120 个 CUDA 核心和 640 个 Tensor 核心。