开源语言大模型演进史：高质量基础模型竞赛

开源语言大模型演进史：高质量基础模型竞赛

本文是开源 LLM 发展史系列文章的第二部分。第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。本文将研究目前可用的最受欢迎的开源基础模型（即已进...
0
可复现的语言大模型推理性能指标

可复现的语言大模型推理性能指标

LLMPerf是一个开源项目，旨在帮助用户对语言模型进行基准测试，并使其性能具有可复现性。它能够帮助用户评估不同LLM的性能，并根据具体任务做出明智的决策。该项目选择了...
0
开源语言大模型演进史：向LLaMA 2看齐

开源语言大模型演进史：向LLaMA 2看齐

本文是开源 LLM 发展史系列文章的第三部分。此前，第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。第二部分《开源语言大模型演进史：高质量...
0
语言大模型的分布式训练与高效微调指南

语言大模型的分布式训练与高效微调指南

作者 | Sumanth R Hegde OneFlow编译 翻译｜杨婷、宛子琳 最近语言大模型（LLM）异常火爆，一个非常特别的开源社区正在探索在消费级硬件上微调、提供服务和进...
0
ChatGPT规模化服务的经验与教训

ChatGPT规模化服务的经验与教训

2022年11月30日，OpenAI发布ChatGPT，以很多人未曾预料的速度迅速走红。与此同时，由于短时间内用户量的暴涨，导致服务器过载，迫使OpenAI停止新用户的注册...
0
迈向100倍加速：全栈Transformer推理优化

迈向100倍加速：全栈Transformer推理优化

作者 | 符尧，爱丁堡大学博士生 OneFlow编译 翻译｜宛子琳、杨婷 假设有两家公司，它们拥有同样强大的模型。公司A可以用1个GPU为10个用户提供模型，而公司B可...
0
语言大模型的推理技巧

语言大模型的推理技巧

本文探讨了一系列语言大模型的推理优化技巧，涵盖KV缓存、量化和稀疏性等方法，并分享了如何有效实施这些技术。对于想要优化Transformer模型，以期提升推理速度或效率的...
0
LoRA微调语言大模型的实用技巧

LoRA微调语言大模型的实用技巧

目前，微调定制化LLM会耗费工程师的大量时间和精力，而选择合适的微调方法以及掌握相关技巧可以做到事半功倍。

此前，在《微调语言大模型选LoRA还是全参数？基于...
0
机器学习硬件十年：性能变迁与趋势

机器学习硬件十年：性能变迁与趋势

本文分析了机器学习硬件性能的最新趋势，重点关注不同GPU和加速器的计算性能、内存、互连带宽、性价比和能效等指标。这篇分析旨在提供关于ML硬件能力及其瓶颈的全面视图。本文作者来...
0
20篇NeurIPS论文精选：语言大模型的六大趋势

20篇NeurIPS论文精选：语言大模型的六大趋势

本文总结了NeurIPS 2023大会上与自然语言处理相关的20篇精彩论文。通过这些论文，作者主要观察到了LLM的六个主要趋势，这些论文涉及重新思考LLM的基本假设，并为其内在运...
0
ChatGPT一周年：开源语言大模型的冲击

ChatGPT一周年：开源语言大模型的冲击

自2022年末发布后，ChatGPT给人工智能的研究和商业领域带来了巨大变革。通过有监督微调和人类反馈的强化学习，模型可以回答人类问题，并在广泛的任务范围内遵循指令。在...
0
硅基流动完成5000万元天使轮融资

硅基流动完成5000万元天使轮融资

北京硅动科技有限公司（以下简称“硅基流动”）于近日完成5000万元天使轮融资。本轮融资由创新工场领投，耀途资本、奇绩创坛以及王慧文等科技界知名人士跟投，华兴资...
0