OneFlow技术年货：800+页免费“大模型”电子书

OneFlow技术年货：800+页免费“大模型”电子书

2023年，无论对人工智能领域还是整个科技界而言，“ChatGPT”无疑是本年度第一关键词。 这一年，在OneFlow社区发布的100多篇文章里，涉及大量与ChatGPT相关的大模...
0
Mistral AI：探索LLM推理的吞吐、时延及成本空间

Mistral AI：探索LLM推理的吞吐、时延及成本空间

选择正确的LLM推理栈意味着选择适合你的任务的正确模型，并配以适当的推理代码在适当的硬件上运行。本文介绍了流行的LLM推理堆栈和设置，详细说明其推理的成本构成；并讨...
0
大模型的规模扩展是否可持续？

大模型的规模扩展是否可持续？

作者 | Dwarkesh Patel  OneFlow编译 翻译｜杨婷、宛子琳 AGI何时会到来？ 如果我们能不断扩展LLMs++的规模（并因此取得更好和更通用的性能）&#xff0...
0
语言大模型的浮点运算分配

语言大模型的浮点运算分配

本文通过实证分析展示了实际LLM模型的FLOPS分配情况，并与理论分析进行对比。通过理论和实证相结合的方式，本文为理解和优化语言大模型的性能提供了有益见解。 作者Finbarr Ti...
0
语言大模型推理加速指南

语言大模型推理加速指南

本文是一篇关于加快语言大模型推理速度的综合指南。从硬件优化到各种解码技巧，文章介绍了各种优化策略，旨在帮助读者更好地理解和优化LLM的性能。相信不论是这一领域的初学者...
0
GenAI的“关键一跃”：推理与知识

GenAI的“关键一跃”：推理与知识

当前的人工智能领域正通过生成式人工智能（GenAI）经历一场重大转变。这一转变不仅代表了技术上的飞跃，更标志着人工智能领域的范式转变，引发了有关GenAI的独特...
0
从头理解与编码LLM的自注意力机制

从头理解与编码LLM的自注意力机制

本文将介绍Transformer架构和GPT-4、LLaMA等语言大模型中使用的自注意力机制。自注意力和相关机制是LLM的核心组件，使用LLM时，了解这些机制十分有必要。 本文还提供了使用P...
0